Teoría en Diseño Experimental

¿Pensaste que ibas a escapar de la teoría, verdad?

Rosario Aguilar
rosario.aguilar@newcastle.ac.uk

Newcastle University

Danilo Freire
danilo.freire@emory.edu

Emory University

Causalidad y experimentos 👩🏻‍🔬🧪

¿Por qué la teoría?

  • Como investigadores, estamos interesados en preguntas de investigación sobre cómo funciona el mundo.
  • Hay varios tipos de preguntas que podemos querer responder.
    • Preguntas descriptivas: Descripciones de un fenómeno dado: por ejemplo, “¿cómo los burócratas distribuyen su tiempo entre diferentes tareas?”
    • Preguntas causales: Preguntas sobre cómo X afecta a Y: por ejemplo, “¿Proporcionar formación profesional a los migrantes mejora su integración económica en el país receptor?”

Teoría

  • ¿Cuál es el fenómeno que queremos explicar?

    • Nuestro resultado (lo vamos a llamar Y)

  • ¿La causa que teorizamos lleva a observar cambios en Y?

    • Nuestro tratamiento (en el contexto de experimentos) (lo vamos a llamar T)

  • ¿Cuál es la teoría del cambio?

  • En última instancia, estamos interesados en cómo dos conceptos teóricos están relacionados, medidos por variables observadas T (nuestro tratamiento) y Y (nuestros resultados)

¿Por qué es importante la teoría?

  • Nuestra teoría nos permite:

  • Derivar implicaciones observables (hipótesis) que probamos en el mundo real.

  • Separar dos experimentos completamente no relacionados con propiedades empíricas idénticas para Y y T.

    • Por ejemplo, podríamos tener dos experimentos de tamaño idéntico con la misma asignación de tratamiento, los mismos resultados observados, pero con teorías subyacentes significativamente diferentes.

De la teoría al diseño de investigación

  • Luego necesitamos conectar lo que nos interesa con lo que observamos en el mundo real \(\rightarrow\) operacionalización de conceptos teóricos.

  • ¿Cómo vamos a medir nuestros resultados? ¿Cómo vamos a manipular la causa de interés?

  • Este vínculo estrecho entre teoría y diseño de investigación nos ayuda a interpretar los resultados de nuestro experimento.

Medición

  • La medición es el vínculo entre la teoría de un investigador y un diseño de investigación (experimental).

  • La medición sigue entonces de nuestra teoría de cómo creemos que funciona el mundo y cómo nuestro tratamiento manipula ese mundo.

  • El caso ideal es la medición directa del fenómeno de interés sin error. Pero esto generalmente no es posible.

  • A menudo solo podemos medir indicadores conectados al fenómeno subyacente de interés.

Consideremos el ejemplo de nuestro experimento

  • ¿Cuál es el resultado de interés (Y)?

  • ¿Cuál es la causa de interés (T)?

  • ¿Cuál puede ser una teoría que conduzca a este diseño experimental?

  • ¿Cuál puede ser la hipótesis principal?

Medición de tratamientos

  • ¿Podemos manipular directamente T? (concepto de tratamiento subyacente de interés)

    • Consideraciones éticas, logísticas y de otro tipo pueden limitar nuestra capacidad de manipular todos los indicadores de T.
    • En el mejor de los casos, podemos cambiar algunos de sus indicadores.
    • Diseñamos un tratamiento, T, para hacerlo.

  • ¿Cómo se relaciona T con T?

    • Pero T puede estar manipulando otras cosas (tratamientos combinados).

  • ¿Todos recibieron T?

    • Medir el cumplimiento.

Pensando en el tratamiento…

  • Ahora piensen en ustedes mismos como los investigadores.

  • En parejas o grupos de tres:

    • Generen hipótesis sobre la dirección del efecto promedio esperado
    • Generen hipótesis sobre posibles efectos heterogéneos
    • Generen el tamaño del efecto esperado
    • Discutan las teorías detrás de la hipótesis y el tamaño del efecto esperado, con énfasis en la importancia de la teoría
    • ¿Otras formas de medir el resultado o modo de administrar el tratamiento?

Midiendo los resultados

  • Como científicos sociales, no podemos observar directamente el valor verdadero del concepto de resultado para la mayoría de los resultados que nos interesan.

  • Ejemplos:

    • Respuestas correctas a problemas (indicadores) para la aptitud matemática subyacente (el fenómeno real).
    • Días sin comida (indicadores) para el hambre (el fenómeno real).
    • Informes de sobornos (indicadores) para la corrupción (el fenómeno real).

  • Además, el concepto de resultado subyacente puede estar incluso en debate (por ejemplo, la democracia).

  • Si nuestros indicadores no miden el concepto subyacente que nos interesa, entonces es posible que no podamos aprender mucho, incluso si tenemos un experimento por lo demás muy sólido.

Volviendo a nuestro experimento…

  • ¿Qué elementos están diseñados para medir nuestro resultado teórico de interés (Y)?
    • ¿Alguna preocupación sobre esta operacionalización?
    • ¿Otras formas posibles de medir Y?

Cosas a considerar

  • Los problemas con la medición pueden llevarte a sacar inferencias causales incorrectas de tu estudio (error sistemático, más sesgo).

  • La medición con ruído reduce la potencia (error aleatorio, menos precisión) [discutiremos esto después].

  • La recolección de datos a menudo ocupa una porción muy grande del tiempo y los recursos financieros disponibles en el presupuesto del proyecto.

Para concluir

  • Como investigadores, tenemos teorías sobre cómo funciona el mundo.

  • Algunas de estas teorías implican afirmaciones causales, y podemos usar experimentos para probarlas empíricamente (es decir, con los datos que observamos del mundo real).

  • La medición conecta la teoría y el diseño de la investigación.

  • Observamos indicadores del mundo real de los conceptos teóricos más amplios que nos interesan.